LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws
LLM 作为噪声信道：香农视角下的模型容量与缩放定律
🧭 LLM 训练缩放定律 · 香农信道理论
ByteDance Seed · University of Virginia · University of California, Berkeley
将 LLM 训练建模为噪声信道传输，提出香农缩放定律，解释非单调性能下降
📌 工作参考价值（4 点）
- 在推荐模型或生成式推荐训练中，当数据量增加但信息增益不高时，应监控性能非单调下降，可借鉴信噪比思考合理的数据配比与早停策略。
- 模型量化或压缩时，使用信噪比框架评估退化风险，避免 U 型性能崩塌，尤其适用于电商知识图谱 embedding 等场景。
- 多任务训练中，不同任务的噪声可能相互干扰，可依据信噪比动态调整任务权重，类似于信号功率的分配。
- 主要是理论贡献，可直接复用的工程 trick 较少，但为理解缩放瓶颈提供了新视角，有助于在模型升级决策时避免盲目扩展参数或数据。